Nada se sabe de los años juveniles de Gräfen.  De 1737 a 1741 parece haber permanecido en Halle y Leipzig por sus estudios -donde pertenecía al círculo en torno a Johann Christoph Gottsched, en cuya esposa encontró a su ‘alta mecenas’- antes de ser nombrado como Kammersekretär en 1755, como Postrat en 1764 y como Post- und Kammerrat en Braunschweig en 1774, miembro de la corte del Principado de Braunschweig-Wolfenbüttel.. 

No se sabe dónde recibió su sólida formación musical Gräf,  quien se tenía en alta estima como un ‘digno diletante’. Como amante de la música y la poesía se dirigió a los ‘Liebhaber der Music’ (Amantes de la Música) en 1737 con su importante colección de odas, a quienes, en contraste con "Singende Muse an der Pleiße" de Johann Sigismund Scholz, les dio configuraciones originales de textos -55 odas compuestas por él mismo-, a partir de textos de Gottsched, Hagedorn, M. von Ziegler y otros. 

Entre los compositores de su colección, que anunciaron el florecimiento de la creación de canciones en Alemania, se encuentran los mejores de la época, que se dieron a conocer a través de cosas alemanas y ya no a través de piezas italianas. La atribución de sus obras no siempre se considera segura.